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Verfahren zur Korrespondenzanalyse von Bildmerkmalen in korrespon- 
dierenden Videobildern in Echtzeit 

Beschreibung 

Die Erfindung bezieht sich auf ein Verfahren zur Korrespondenzanalyse von 
Bildmerkmalen in korrespondierenden Videobildern in Echtzeit, das zur 
Bestimmung eines Korrespondenzvektorfeldes von den digitalen Eingangs- 
bilddaten unter Einbeziehung ausgewahlter Optimierungskriterien ausgeht und 
auf dem Hybridrekursionsverfahren basiert, das zur Ermittlung eines korrigier- 
ten Blockvektors als Korrespondenzvektor des jeweils aktuellen Pixels eine 
Blockrekursion mit einer integrierten Pixelrekursion zur Blockvektorkorrektur 
umfasst. 

Mit einem Verfahren zur Korrespondenzanalyse werden Ahnlichkeitsbetrach- 
tungen zwischen Bildmerkmalen in korrespondierenden Videobildern durch- 
gefuhrt. Die daraus gewonnenen Erkenntnisse konnen fur Formatkonversionen 
und Datenkompressionen genutzt werden. Wird die Bewegung als Korrespon- 
denz zwischen Videobildern in Videobildsequeftzen, die uber eine zeitliche 
Abfolge miteinander korrespondieren, gewahlt, kann eine Bewegungs- 
schatzung durchgefuhrt werden. Dazu sind mehrere Methoden entwickelt 
worden. Innerhalb der entwickelten Verfahren kann zwischen zwei verschie- 
denen Ansatzen unterschieden werden : dem rekursiven Block-Matching- 
Ansatz (vergleiche [1]) und Algorithmen, die auf dem optischen Fluss basieren 
(vergleiche [2]). Der rekursive Block-Matching-Ansatz liefert ein nicht-dichtes 
Bewegungsvektorfeld auf Blockbasis unter Anwendung einer geeigneten 
Gutefunktion als Optimierungskriterium. In [1] wird bereits das Konzept der 
Verwendung von wenigen Kandidatenvektoren erlautert, urn eine rechenauf- 
wandige Suche in einem definierten Bereich zu vermeiden. Der optische Fluss- 
Ansatz hingegen nutzt die Kontinuit?.t 7\vischen ortlichen Gradienten und 
zwischen Differenzen der Intensitaten korrespondierender Pixel in zwei 
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Videobildern aus und liefert ein dichtes Bewegungsvektorfeld. Urn dieses 
Verfahren jedoch in schwach strukturierten Bereichen zuverlassig zu gestalten, 
werden hierarchische Konzepte angewendet, die auf Auflosungspyramiden 
beruhen. Dadurch entsteht auch bei einem solchen pixelrekursiven Konzept 
ein betrachtlicher Rechenaufwand, der fur eine Echtzeit-Realisierung von 
Nachteil ist. 

Das erfindungsgemaSe Verfahren basiert auf dem schnellen Hybrid rekursions- 
verfahren gemaS der DE-A1 197 44 134. Das hier beschriebene Verfahren 
dient zur Bewegungsschatzung zwischen zeitlich aufeinander folgenden 
Videobildern und hat zur Grundidee, effizient eine kleine Gruppe von 
relevanten Kandidatenvektoren auszuwahlen, urn den Rechenaufwand zur 
Konsistenzerreichung im Bewegungsvektorfeld als Korrespondenzvektorfeld zu 
minimieren. Das bekannte Verfahren vereinigt die Vorteile des blockrekursiven 
Matchings mit denen des pixelrekursiven optischen Fluss-Verfahrens und fuhrt 
so zu einer sehr genauen Bewegungsschatzung bei einem relativ geringen 
Rechenaufwand. Fur jeden aktuellen Block wird in mehreren Abschnitten ein 
optimierter Blockvektor als Bewegungsvektor generiert. Zuerst wird mittels 
Blockrekursion ein Blockvektor aus mehreren Kandidatenvektoren nach dem 
vorgegebenen Optimierungskriterium der Differenz verschobener Blocke (DBD 
Displaced Block Difference) ausgewahlt. Danach wird dieser Blockvektor 
mittels Pixelrekursion nach dem Optimierungskriterium der Differenz verscho- 
bener Pixel (DPD Displaced Pixel Difference) aktualisiert. AbschlieSend wird 
dann nach dem vorgegebenen Optimierungskriterium zwischen beiden Block- 
vektoren entschieden. Das bekannte Verfahren stellt eine Zusammenfuhrung 
zweier unterschiedlicher Rekursionsverfahren mit unterschiedlichen Ansatzen 
und Vorteilen dar, woraus sich die Bezeichnung n Hybridrekursionsverfahren" 
ergibt. Es beschrankt sich auf einfach und Obersichtlich durchzufuhrende 
Maftnahmen fur wenige Kandidatenvektoren, indem schon bei deren Voraus- 
wahl bereits vorhandene qualifizierte Ergebnisse als EingangsgroSen 
verwendet werden und die jeweils entstehenden Zwischenresultate einer 
Prufung gemaS den Optimierungskriterien unterlieaen. Da da<? bekannte 
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Verfahren der Bewegungsschatzung client, werden zeitlich aufeinander 
folgende Videobilder als Eingangsbilddaten verwendet. In dem Verfahren 
gemaG. der DE-A1 197 44 134 werden Videohalbbilder von drei direkt 
aufeinander folgenden Zeitpunkten verwendet, die von einer einzelnen Kamera 
5 aufgenommen werden. 

Urn realistische dreidimensionale Videoobjekte zu erzeugen, beispielsweise 
von Konferenzteilnehmern in einer virtuellen Videokonferenz mit hoher 
Teleprasenz, miissen diese mittels eines Mehrkamerasystems aufgenommen 
10 werden. In solchen zukunftigen Videokonferenzanwendungen ist eine 
perspektivrichtige Darstellung der einzelnen Teilnehmer erforderlich, urn die 
wichtige Bewegungsparallaxe beim Betrachter zu erzeugen. Bewegt dieser 
seinen Kopf seitwarts, muss er bei einer realistischen Darstellung 
unterschiedliche Ansichten seiner Konferenzpartner wahrnehmen konnen. Die 
15 Kopfbewegungen des Beobachters werden dabei uber entsprechende 
Headtrackingsysteme detektiert. Die geforderte dreidimensionale Beschrei- 
bung der raumlichen Videoobjekte wird moglich, wenn zwischen den Bildmerk- 
malen zwischen zwei Videobildern eines Stereobildpaares, das von. zwei 
Kameras eines Mehrkamerasystems zeitgleich aufgenommen wurde, eine 
20 Korrespondenz hergestellt wird. Die entsprechende Analyse wird als 
Disparitatsanalyse bezeichnet und liefert analog zur Bewegungsschatzung 
^ zwischen zeitlich aufeinander folgenden Videobildern den Disparitatsvektor als 
Korrespondenzvektor, der die ortliche Verschiebung voh Bildmerkmalen in 
Stereobildern beschreibt. Das Korrespondenzvektorfeld wird also von einem 
25 Disparitatsvektorfeld gebildet. Die virtuellen Ansichten konnen dann, basierend 
auf den ermittelten Disparitatsvektorfeldem, mittels aktueller Image-Rendering- 
Techniken erzeugt werden. Die Disparitatsanalyse ermittelt fur jedes Pixel 
eines Videobildes eines Stereobildpaares die Verschiebung relativ zum 
anderen Videobild. Dabei entspricht die GroBe der Verschiebung in 
30 umgekehrter Proportionalitat der Tiefe des korrespondierenden 3D-Punktes im 
Raum. Verschiedene Disparitatsanalyse-Ansatze vvurdcn in Zusammcnhang 
mit Stereo-Anwendungen bereits vorgeschlagen. Sie stellen konsequente 
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Weiterentwicklungen der oben mit den Veroffentlichungen [1] und [2] 
aufgezeigten Ansatze dar. 

So wird in einer Verdffentlichung (vergleiche [3]) ein auf dem Block-Matching- 

5 Ansatz beruhendes Stereo-Echtzeitsystem vorgestellt, das auf parallel rech- 
nenden Signalprozessoren eine Korrespondenzsuche auf mehreren 
Auflosungspyramiden berechnet. Durch Vergleich der Ergebnisse kann die 
Zuverlassigkeit der Disparitatsschatzung wesentlich erhdht werden. Gleich- 
zeitig kann die Fehlerfortpflanzung vermieden werden, die in einem streng 

10 hierarchischen Ansatz als Fehlerquelle auftritt. In einer anderen Verdffent- 
lichung (vergleiche [4]) wird das Konzept der Kandidatenvektoren vorgestellt, 
wobei eine zweistufige Block-Matching-Rekursion Anwendung findet. Diese 
beschriebenen Echtzeit-Verfahren beruhen auf einem reinen Block-Match ing- 
Ansatz und zeigen daher nicht die bedeutenden Vorteile des oben 

15 beschriebenen Hybridrekursionsverfahrens fur Bewegungsschatzung. AuBer- 
dem wurden sie fur eine vereinfachte Stereogeometrie des Kamerasystems, 
dem achsparallelen oder schwach konvergenten Aufbau, optimiert. In 
immersiven Videokonferenzsystemen konnen jedoch aufgrund der Gro&e des 
Displays und der Nahe des aufzunehmenden Objektes zum Display solche 

20 Kamerakonfigurationen nicht verwendet werden. Die Stereokameras mussen 
hier stark konvergent ausgerichtet sein, urn die gesamte Szene erfassen zu 

i 

konnen. AuSerdem ist fur eine Anwendung in einem Echtzeitsystem eine 
besonders schnelle Bestimmung der Disparitatsvektorfelder erforderlich, wie 
sie von dem beschriebenen Hybridrekursionsverfahren fur die BewegUngs- 
25 schatzung bekannt ist. 

Ausgehend von dem Hybridrekursionsverfahren zur Korrespondenz zwischen 
Bildmerkmalen in korrespondierenden Videobildern, wie es in der DE- 
A1 197 44 134 mit dem Bewegungsvektorfeld als Korrespondenzvektorfeld fur 
30 bewegte Bildmerkmale in zeitlich aufeinander folgehden Videobildern beschrie- 

ben v/ird, und vor dem lii.VLGfgruriG der i/ioglichkeilcn der bcLcnr.ien Ven'ahren 
fur die Disparitatsanalyse zwischen zwei Videobildern eines Stereobildpaares 
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objekts unter Erzeugung von Bewegungsparallaxe beim Betrachter moglich. 
Dieser erhalt nun ohne zusatzliche Betrachtungshilfsmittel und ohne 
Verwendung besonderer Displays einen besonders realistischen Eindruck des 
Videoobjekts in Echtzeit. Insbesondere in den zunehmend an Bedeutung 

5 gewinnenden Videokonferenzen ist damit eine vollstandige Einbindung der 
Teilnehmer moglich, die die zuweilen doch als storend empfundene 
Abbildungstechnik vollstandig in den Hintergrund treten lasst. Auch treten 
keine Storungen durch zeitverzogerte Bearbeitungen auf, da das Verfahren auf 
rein rechnerischem Wege in Echtzeit mit 40 ms/frame bei einer ausreichenden 

10 Genauigkeit der Disparitatsvektorfelder arbeitet. Es ist damit auch fiir aktuelle 
digitale Videostandards, beispielsweise progressives CCIR601, einsetzbar. Zur 
Erhohung der Zuverlassigkeit der Disparitatsanalyse ist eine Konsistenz- 
prufung zwischen den beiden Disparitatsvektorfeldern (von links nach rechts 
und von rechts nach links) sinnvoll und besonders effektiv. Im optimalen Fall 

15 muss die Summe der beiden Disparitatsvektoren zwischen korrespondie- 
renden Bildpunkten Null sein. 

Das erfindungsgema&e Verfahren basiert auf der Idee, ortlich benachbarte 
Kandidatenvektoren als Eingabe fur die blockrekursive Disparitatsschatzung zu 

20 verwenden. Dabei wird von der Annahme ausgegangen, dass mit groSer 
Wahrscheinlichkeit einer dieser Kandidatenvektoren eine sehr gute Approxi- 
mation der Disparitat an der aktuellen Pixelposition darstellt. Neben einer 
betrachtlichen Verringerung der Rechenzeit fuhrt diese Methode zu ortlich 
konsistenten Disparitatsvektorfeldern. Da aber auch zeitliche Diskontinuitaten 

25 in den Disparitatssequenzen auftreten konnen, die bei einer Synthese 
basierend auf den Disparitatsvektorfeldern zu sichtbaren und damit au&erst 
storenden Artefakten fuhren konnen, wird auBerdem ein zeitlicher Kandidat 
aus der Disparitatsanalyse des vorangegangenen Stereobildpaares verwendet. 
Als Modifikation des bekannten Hybridrekursiwerfahrens mit einem blockrekur- 

30 siven Teil, der den pixelrekursiven Teil zur Nachkorrektur des gesuchten 
Disparitatsvektors enthalt, zeigt das erfindungsgemaSe Verfahren jedoch auch 
wesentliche Unterschiede und Erweiterungen dazu. Die Basis fur die 
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Eingangsbilddaten bilden nun das rechte und das linke Videobild eines 
Stereobildpaares, die von einer Stereokamera aufgenommen wurden. Am 
Eingang liegen also korrespondierende Bilder von demselben Zeitpunkt vor. 
Die Korrespondenz zwischen den Videobildern bei dem erfindungsgema&en 

5 Verfahren ergibt sich aus der Abbildung eines 3D-Raumpunktes an 
unterschiedliche Positionen in der Bildebene zweier Kameras einer 
Stereokamera, die beide unterschiedliche Blickwinkel haben. Dabei 
gewahrleistet das Vorsehen mehrerer Stereokameras in einem Mehrkamera- 
system eine Erweiterung der Bewegungsparailaxe. Die ortliche Verschiebung 

10 zwischen korrespondierenden Bildmerkmalen ist damit ein MaS fur die Tiefe 
des entsprechenden 3D-Punktes des analysierten Objekts. Deshalb entspricht 
der mit dem erfindungsgema&en Verfahren ermittelbare Disparitatsvektor 
dieser ortlichen Verschiebung des jeweilig aktuellen Blockes. Im 
pixelrekursiven Teil wird zudem eine Erweiterung eingefuhrt, die sich aus der 

15 Stereogeometrie des Kamerasystems ergibt. Da die Pixelrekursion im 
Allgemeinen keine der Stereogeometrie entsprechenden Vektoren liefert. 
werden hier die ermittelten Disparitatsvektoren in korrespondierende Vektoren 
entlang der Epipolarlinie der jeweiligen Stereogeometrie uberfuhrt (soge- 
nanntes ..Clamping"). 



20 



In der Blockrekursion wird zunachst furjeden von drei Kandidatenvektoren ein 
Wert entsprechend dem geeignet gewahlten Optimierungskriterium bestimmt. 
GemaS diesem Optimierungswert wird der beste Kandidatenvektor fur den 
aktuellen Pixel ausgewahlt und der Pixelrekursion zugefuhrt. Hier wird unter 
25 Verwendung der optischen Fluss-Gleichung innerhalb einer Umgebung um den 
aktuellen Pixel an verschiedenen Orten innerhalb des aktuellen Blockes jeweils 
ein pixelrekursiver Prozess durchgefuhrt, um aktualisierte Vektorkandidaten zu 
bestimmen. Dabei wird unter Berechnung des ortlichen und zeitlichen 
Gradienten ein Update-Vektor mit im allgemeinen Fall horizontaler und 
30 vertikaler Komponente bestimmt, der zunachst zu einem aktualisierten Block- 
vektor aus der Eingangsphase und im weiteren Verlauf der Pixelrekursion zu 
einem aktualisierten Disparitatsvektor aus dem vorangegangenen Rekursions- 
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schritt fuhrt. Wahrend dieser verschiedenen pixelrekursiven Prozesse wird in 
jedem Rekursionsschritt ein Offset-Vektor ermittelt, der zu einem neuen 
Update-Vektor fuhrt. Die Entscheidung fur den optimalen Update-Vektor wird 
mittels der Differenz verschobener Pixel DPD (Displaced Pixel Difference) 
5 herbeigefuhrt und der Update-Vektor mit der geringsten Differenz ausgewahlt. 
Da dieser Update-Vektor nicht unbedingt die Epipolarbedingung der 
Stereogeometrie erfullt, wird an dieser Stelle das Clamping durchgefuhrt. 
Dabei wird unter Verwendung der Parameter der Stereogeometrie der zum 
ausgewahlten Update-Vektor nachstliegende Disparitatsvektor bestimmt, der 
jN io die Epipolarbedingung erfullt. Diese besagt, dass fur ein Pixel in dem einen 
Videobild, das die Abbildung eines Punktes im Raum ist, das korrespon- 
dierende Pixel in dem anderen Videobild auf der Epipolarlinie der Stereogeo- 
metrie liegen muss und umgekehrt. Der korrigierte Disparitatsvektor wird dann 
an den blockrekursiven Teil zuruckgegeben. Dort wird der korrigierte 
15 Kandidatenvektor aus der Pixelrekursion mit dem besten Kandidatenvektoren 
aus der Eingangsphase der Blockrekursion abschlie&end verglichen, wobei 
hier wieder das gewahlte Optimierungskriterium ven/vendet wird. Der beste 
Kandidatenvektor ist dann der Blockvektor der aktuellen Blockposition und wird 
gleichzeitig fur die nachste Blockrekursion abgespeichert. 



20 



Dem erfindungsgemaSen Verfahren werden Eingangsbilddaten zur Verarbei- 
tung zugefuhrt, die auf den beiden Bildern eines Stereokamerasystems 
beruhen. Dabei kann dieser Zusammenhang direkt gegeben sein, das heifit, 
das direkt die aufgenommenen Stereobilder digitalisiert werden. Es kann nach 
25 einer Fortfuhrung des erfindungsgema&en Verfahrens jedoch auch der Fall 
sein, dass die Eingangsbilddaten als transform ierte Aquivalente aus den 
beiden Videobildern eines Stereobildpaares generiert werden. Hierbei kann 
nach einer nachsten Erfindungsfortfuhrung vorgesehen sein, dass die 
transformierten Aquivalente durch Rektifikation der einzelnen Stereobilder 
30 generiert werden. Bei der Rektifikation werden aus konvergenten Videobildern 
durch Anwendung einer zweidimensionalen Transformation achsparallele 
Ansichten erzeugt. Die beiden Stereobilder konnen auch jeder anderen im 



HHI 02/0101 DE { 



9 



Sinne der Aufgabenstellung geeigneten Transformation unterzogen werden. 
Des Weiteren mussen die von einem Stereobildpaar ausgehenden, 
transformierten Eingangsbilddaten fur die Blockrekursion und die Pixelre- 
kursion nicht identisch sein. Bei getrennten Datenflussen konnen gemaU einer 

5 anderen Ausgestaltung der Erfindung in der Blockrekursion und in der 
integrierten Pixelrekursion unterschiedlich transform ierte Aquivalente eines 
Stereobildpaares als Eingangsbilddaten bearbeitet werden. Uber einen zusatz- 
lichen Eingang werden deshalb die Parameter der jeweiligen Stereogeometrie 
der Pixelrekursion zugefuhrt. Werden transformierte Aquivalente als Eingangs- 

10 bildsignale verwendet, muss das Optimierungskriterium in der Blockrekursion 
entsprechend ausgewahlt werden. Es existieren unterschiedliche Selektions- 
und Ahnlichkeitskriterien. Vorteilhaft ist es gemaR einer anderen Ausgestaltung 
des erfindungsgemaSen Verfahrens, wenn in der Blockrekursion als Optimie- 
rungskriterium die Differenz verschobener Blocke DBD (Displaced Block 

15 Difference) und in der Pixelrekursion die Differenz verschobener Pixel DPD 
(Displaced Pixel Difference) gewahlt ist. 

Die Kandidatenvektoren in der Block- und Pixelrekursion des erfindungs- 
gemaften Verfahrens sind in der zweidimensionalen Bildebene im Falle einer 

20 beliebigen Stereogeometrie des Kamerasystems ebenfalls zweidimensionale 
Vektoren. Wie bereits erlautert, mussen korrespondierende Merkmale in 
beiden Videobildem auf der durch die jeweilige Stereogeometrie bedingten 
Epipolarlinie liegen, um die Epipolarbedingung zu erfQIIen. Damit beschrankt 
sich die Suche nach geeigneten Vektorkandidaten im Prinzip auf einen 

25 eindimensionalen Suchraum. Diese Tatsache kann durch eine geeignete 
Parametrisierung der Epipolarlinie ausgenutzt werden. Nach einer anderen 
Erfindungsfortfuhrung ist es deshalb vorteilhaft, wenn die Ermittlung des 
Disparitatsvektors des jeweils aktuellen Pixels durch eine Parametrisierung der 
Epipolarlinien der Stereogeometrie auf einen eindimensionalen Suchraum be- 

30 schrankt ist. Eine derartige Parametrisierung ist aus dem Stand der Technik 
zwar bereits bekannt, allerdings im Zusammenhang mit einem komplexen 
Gutefunktional zur Disparitatsschatzung (vergleiche [5]). Eine Anwendung 
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dieser Parametrisierung innerhalb des hybriden block- und pixelrekursiven 
Disparitatsanalyseverfahrens ist jedoch nicht bekannt. Fur das 
erfindungsgema&e Verfahren bedeutet diese Parametrisierung, dass die 
Kandidatenvektoren sowohl im block- als auch im pixelrekursiven Teil nur 

5 durch eine Komponente X beschrieben werden konnen. Die Suche nach dem 
besten Kandidatenvektor im pixelrekursiven Teil erfolgt dann nur noch entlang 
des Parameters X. Fur die Berechnung des Optimierungswertes und der 
Differenz verschobener Pixel DPD (Displaced Pixel Difference) ist dann jeweils 
eine inverse Berechnung notwendig, urn aus dem ^-Parameter die 

10 entsprechenden zweidimensionalen Koordinaten zuriickzurechnen. Dies 
geschieht jedoch innerhalb des Rechenmoduls und entspricht nur einer 
Koordinatentransformation. 

Eine weitere Verringerung des zu analysierenden Bereiches in den Video- 
15 bildern und damit eine wesentliche Beschleunigung des Rechenverfahrens 
ergibt sich, wenn nach einer anderen Ausgestaltung des erfindungsgemafcen 
Verfahrens die Disparitatsanalyse auf die begrenzte Pixelanzahl eines 
geschlossenen Videoobjekts beschrankt ist. Besonders im bereits erwahnten 
Videokonferenz-Szenario kann die Disparitatsanalyse auf den Konferenz- 
20 teilnehmer, insbesondere auf dessen Kopf und Oberkorper, beschrankt 
werden, da nur dieser ubertragen und in die virtuelle Szene eingefugt wird. 

Urn keine ortsabhangigen Ergebnisse zu erhalten, ist es nach einer weiteren 
Erfindungsfortfuhrung sinnvoll, dass die einzelnen Blocke in der Blockrekursion 

25 richtungsunabhangig bearbeitet werden. Insbesondere kann hierbei dreifach 
alternierend vorgegangen werden in der Form, dass die Blocke zuerst fur alle 
ungeraden Oder geraden Bildzeilen bearbeitet werden und in aufeinander 
folgenden Bildzeilen die Bearbeitungsrichtung wechselt und in aufeinander 
folgenden Stereobildpaaren die Blockrekursion abwechselnd in der obersten 

30 Oder untersten Bildzeile startet. Dieses Mehrfach-Maander-Schema fuhrt zu 
einer weitgehend richtungsunabhangigen Abarbeitung der Blockpositionen, da 
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ergibt sich damit fur die Erfindung die Aufgabe, das zugrundeliegende 
Hybridrekursionsverfahren so zu modifizieren, dass es als Disparitatsanalyse- 
verfahren zur dreidimensionalen Beschreibung von raumlichen Videoobjekten 
in beliebigen Stereoansichten eingesetzt werden kann. Daruber hinaus soil es 
5 bei beliebigen Stereogeometrien des eingesetzten Kamerasystems zuverlassig 
und schnell arbeiten. 

Als Losung fur diese Aufgabe ist bei dem erfindungsgema&en Verfahren eine 
Weiterbildung des bekannten Hybridrekursionsverfahrens in der Form vor- 

10 gesehen, dass zur Ermittlung eines Disparitatsvektorfeldes als Korrespondenz- 
vektorfeld die Eingangsbilddaten auf Basis der beiden Videobilder eines 
Stereobildpaares generiert werden, das mittels eines Mehrkamerasystems mit 
beliebiger Stereogeometrie erzeugt wird, wobei die Bildmerkmale in den 
beiden Videobildern des Stereobildpaares uber eine Ortsverschiebung abhan- 

15 gig von der Tiefe des zugehorigen Bildmerkmals im Raum miteinander korres- 
pondieren, und dass in die Blockvektorkorrektur die Parameter der Stereogeo- 
metrie zur Erfullung der Epipolarbedingung fur eine Anbindung des korrigierten 
Blockvektors an die jeweilige Epipolarlinie der Stereogeometrie einbezogen 
sind. 

20 

Mit dem erfindungsgemaSen Verfahren wird die Ahnlichkeit zwischen 
Bildmerkmalen zweier Videobilder berechnet, die von zwei beliebig zueinander 
orientierten Kameras eines Stereosystems aufgenommen werden. Der Vektor, 
der die Verschiebung des Bildmerkmals in dem einen Videobild zur Position 

25 des ahnlichsten Bildmerkmals im anderen Videobild darstellt, wird als 
Disparitatsvektor definiert. Das erfindungsgemaSe Verfahren ermoglicht die 
schnelle Bestimmung von Disparitatsvektorfeldern fur beiiebige Stereogeo- 
metrien der verwendeten Kamerasysteme. Die damit aufgenommenen Video- 
objekte konnen dreidimensional beschrieben werden. Die ermittelten virtuellen 

30 Ansichten konnen dann, basierend auf den Disparitatsvektorfeldern, mittels 
aktueller Image-Rendering-Techniken erzeugt werden. Dadurch ist eine beson- 
ders realistische Darstellung der Raumlichkeit des aufgenommenen Video- 
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bei Kumulation aller MaBnahmen zu einem Dreifach-Maander mindestens 
nach zwei Bildern alle Positionen um den aktuellen Pixel herum als 
Vektorkandidaten gewahlt wurden. Eine Verbesserung der Verarbeitungs- 
effizienz kann erreicht werden, wenn gemaS einer nachsten Erfindungs- 
5 ausgestaltung eine rein horizontale Oder rein vertikale Verarbeitung 
durchgefuhrt wird. 



15 



Nachfolgend wird die Erfindung anhand der schematischen Figuren noch 
naher erlautert. Dabei zeigt : 

Figur 1 ein Blockdiagramm des erfindungsgemaRen Verfahrens, 

Figur 2 eine Darstellung der Epipolargeometrie und 

Figur 3 ein Mehrfach-Maander fur die richtungsunabhangige Bearbei- 

tung der einzelnen Pixel. 



In der Figur 1 ist das erfindungsgemaSe Verfahren in seiner allgemeinen Form 
dargestellt, das der Ermittlung eines Feldes von optimierten Blockvektoren 
BVO als Ma(2> fur die auftretende Disparitat dient. Das erfindungsgemaBe 
Verfahren kann ohne zusatzliche Hardwarekomponenten rein rechnerisch 
20 durchgefuhrt und beispielsweise mit einem handelsublichen Pentium-lll- 
Prozessor mit 800 MHz und guter Qualitat umgesetzt werden. Das Verfahren 
kann in drei Abschnitte untergliedert werden : 

in einem ersten Abschnitt I werden drei Kandidatenvektoren CV aus vorange- 
25 gangenen Rekursionsschritten fur die aktuelle Blockposition durch rekursives 
Blockmatching ausgewertet. Als Eingangsbilddaten ID werden transformierte 
Videobilddaten T1V1, T2V2 des linken und rechten Videobildes V1, V2 eines 
Stereobildpaares SP verwendet. Nach einer Initialisierung mit Default-Werten 
werden aus einem Speicher MM die erforderlichen drei Kandidatenvektoren 
30 CV zur Verfugung gestellt. Die Berechnung des minimalen Zahlenwertes OPV 
erfolgt in der Blockrekursion BRC nach Vorgabe der Transformation der 
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Videobilddaten TV1, TV2 mit einem geeigneten Optimierungskriterium OC. Im 
dargestellten Verfahrensablauf handelt es sich hierbei urn die Differenz 
verschobener Blocke DBD. Der zu dem minimalen Zahlenwert OPV gehorige 
Kandidatenvektor CV wird in einer Auswahleinheit SE1 ausgewahlt und als 
5 Blockstartvektor BVS dem nachsten Abschnitt II zugeleitet. 



Im nachsten Abschnitt II wird eine Pixelrekursion PRC durchgefuhrt, die mit 
dem Blockstartvektor BVS beginnt. Ausgehend von dem aktuellen Stereo- 
bildpaar SP werden der Pixelrekursion PRC transformierte Videobilddaten 

10 T3V1, T4V2 zugefuhrt. AuSerdem fliefcen hier die Parameter der jeweiligen 
Stereogeometrie PSG in die Pixelrekursion PRC ein. Die Berechnung des 
korrigierten Blockvektors BVC erfolgt auf der Grundlage einer vereinfachten 
Berechnung des optischen Flusses, der sich aus dem ortlichen Gradienten und 
dem Gradienten zwischen den Stereobildern zusammensetzt Die Differenz 

15 verschobener Pixel DPD wird bei der Bewertung des korrigierten Blockvektors 
BVC als Optimierungskriterium OC verwendet. Da der so berechnete 
Blockvektor BVC in der Regel nicht die Epipolarbedingung erfullt, wird 
anschlieliend noch ein Clamping auf die Epipolarlinie CPL durchgefuhrt, urn 
den dem korrigierten Blockvektor BVC am nachsten liegenden Blockvektor 

20 BVCC zu finden, der die Epipolarbedingung erfullt. Vergleiche hierzu auch 
Figur 2. Die Pixelrekursion liefert eine Schar von solchermaSen doppelt 
korrigierten Blockvektoren BVCC, wobei der beste korrigierte Blockvektor 
BVCC dann in einer weiteren Auswahleinheit SE2 nach MaSgabe der 
minimalen Differenz verschobener Pixel DPD ausgewahlt und einem dritten 

25 Abschnitt III zugefuhrt wird. 

Hier wird unter Anwendung des geeigneten Optimierungskriteriums der 
Optimierungswert fur den korrigierten und auf die Epipolarlinie gezwungenen 
Blockvektor BVCC berechnet. Der optimale Blockvektor BVO wird schlieBlich 
30 in einer dritten Auswahleinheit SE3 basierend auf dem Ergebnis aus Abschnitt 
III und der Selektionseinheit SE1 aus dem Blockstartvektor BVS und dem 
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korrigierten Blockvektor BVCC ausgewahlt und sowohl dem Speicher MM 
zugefuhrt als auch zur Erstellung des Disparitatsvektorfeldes ausgegeben. Das 
Verfahren beginnt dann erneut mit dem nachsten aktuellen Pixel bzw. mit dem 
nachsten Stereobild, wenn alle Pixel im Objektbereich abgearbeitet sind. 

5 

In der Figur 2 ist die Epipolargeometrie dargestellt, deren Parameter durch 
Erfullung der Epipolarbedingung in die Pixelrekursion PRK eingehen. Aus- 
gehend von einem raumlichen Punkt M und dessen beiden Projektionspunkten 
mi und m 2 in die beiden Bildebenen h und l 2 einer Stereoanordnung besagt 
10 die Epipolar-Geometrie, dass ein optischer Strahl, der durch die Punkte m 1 und 
M geht, auf einer korrespondierenden Epipolarlinie l 2 in der Bildebene IP 2 
abgebildet wird. Deshalb muss der Punkt m 2 auf der Epipolarlinie l 2 liegen, falls 
er in der zweiten Ansicht nicht verdeckt ist. Im umgekehrten Fall muss der 
Projektionspunkt mi auf der komplementaren Epipolarlinie h liegen. Diese 
15 Grundsatzbeziehung kommt in der bekannten Epipolargleichung [I] zum 
Ausdruck, in der F die Fundamentalmatrix bezeichnet (vergleiche [6]). Die 
Fundamentalmatrix enthalt sowohl die Kameraparameter jeder Kamera des 
Stereosystems als auch die geometrische Beziehung zwischen beiden 
Kameras. Die in den Formeln verwendete Tilde uber den Projektionspunkten 
20 mi, m 2 zeigt an, dass deren Flachenkoordinaten (x, y) in den Raum erweitert 
( ^ , wurden (x, y, 1). Damit ist es moglich, die zweidimensionalen Vektoren der 
Bildebene im projektiven dreidimensionalen Raum zu benutzen. 



25 



[I] m, r Fra 2 =0 

Deshalb kann die Anpassung der korrespondierenden Projektionspunkte mi, 
m 2 immer auf eine eindimensionale Suche entlang den Epipolarlinien h, l 2 
reduziert werden, die sich fur jede der beiden Ansichten folgenderma&en 
berechnen [II]: 



30 



[II] 1, = Fm 2 und l 2 =F r m l 
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Geht man von einem allgemeinen Stereokameraaufbau mit stark konvergent 
ausgerichteten Kameras aus, kann diese eindimensionale Suche auf zwei 
unterschiedliche Weisen erfolgen (vergleiche [7]). Die erste Moglichkeit ist eine 
Einschritt-Losung, bei der die eindimensionale Suche direkt entlang einer 
5 aufgrund der stark konvergenten Kameraausrichtung beliebig orientierten 
Epipolarlinie erfolgt. Die zweite Moglichkeit ist eine Zweischritt-Losung, die 
zunachst jeweils eine virtuelle Rotation fur beide Kameras vorsieht, bis eine 
parallele Stereogeometrie erreicht ist. Dieser Vorverarbeitungsschritt wird 
„Rektifikation" genannt und erzeugt im Allgemeinen trapezverzerrte Bilder mit 
10 horizontalen Epipolarlinien. Nunmehr konnen die korrespondierenden Punkte 
miR, m 2 R in den rektifizierten Bildern entlang horizontaler Epipolarlinien l R 
gesucht werden. Hierdurch kann die eindimensionale Suche zwar weiter 
vereinfacht werden, allerdings benotigt der Rektifizierungsprozess zusatzliche 
Rechenzeit. Die Rektifizierung erfordert die Ableitung von zwei Transforma- 
15 tionsmatrizen T1 und T2 aus der Kamerageometrie, die ebenfalls im Stand der 
Technik hinlanglich beschrieben sind (vergleiche [8]). Die resultierenden 
Matrizen konnen dann zur Transformierung jedes Pixels der Originalbilder in 
die rektifizierte Ansicht genutzt werden [III] : 

20 [III] m lr = Tj • m 1 und m 2r = T 2 m 2 

' i^l ,n der Fi 9 ur 3 ist eine nnaanderformige Abtastung der einzelnen Videobilder fur 

eine richtungsunabhangige Bearbeitung der einzelnen Pixel vereinfacht 
dargestellt. Die Abtastung bezieht sich nur auf ein Videoobjekt mit beliebiger 
Kontur, wodurch die Rechenzeit verkurzt werden konnte. Auf der linken Seite 

25 werden nur die geraden Bildframes, auf der rechten nur die ungeraden ' 
abgetastet. Der erste Durchlauf fur die geraden Bildframes ist durchgezogen 
gezeichnet, beginnt oben und umfasst nur die ungeraden Bildzeilen. Der 
zweite Durchlauf ist gestrichelt gezeichnet, umfasst die Abarbeitung der 
geraden Zeilen und lauft dem ersten Durchlauf mit einem unteren Startpunkt 

30 entgegen. Im folgenden Stereobildpaar sind die Ablaufe und Startpunkte 
genau umgekehrt Durch diesen dreifachen Maander konnen die vollige 
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Richtungsunabhangigkeit der Pixelbearbeitung und damit bestmogliche 
Ergebnisse in der Disparitatsanalyse zur Auswertung der Tiefenverhaltnisse 
erzielt werden. 

Die vorliegende Erfindung in der Grundidee und in ihren einzelnen bevorzugten 
Ausfuhrungsformen ist Gegenstand einer geplanten Veroffentlichung der Erfin- 
der (Peter Kauff, Nicole Brandenburg, Michael Karl, Oliver Schreer „Fast 
Hybrid Block-and Pixel-recursive Disparity Analysis or Real-Time Applications 
in Immersive Tele-Conference Scenarios" fur „The 9-th International Confe- 
rence in Central Europe on Computer Graphics, Visualization and 
Computer Vision 2001, February 5 - 9, 2001 at University of West Bohemia, 
Campus-Bory, Czech Republic). 
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Bezugszeichenliste 





BRC 


Blockrekursion 


15 


BV 


Blockvektor 




BVCC 


auf die Epipolarlinie bezogener korrigierter Blockvektor 




BVC 


korrigierter Blockvektor 




BVO 


optimierter Blockvektor 




BVS 


Blockstartvektor 


20 


CPL 


Clamping auf die Epipolarlinie 




CV 


Kandidatenvektor 




DBD 


Differenz verschobener Blocke 




DPD 


Differenz verschobener Pixel 




F 


Fundamentalmatrix 


25 


ID 


Eingangsbilddaten 




IPi 


linke Bildebene 




IP 2 


rechte Bildebene 




h 


Epipolarlinie linke Bildebene 




l 2 


Epipolarlinie rechte Bildebene 


30 


Ir 


horizontale Epipolarlinie, rektifiziert 




M 


raumlicher Punkt 




MM 


Speicher 
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mi Projektionspunkt linke Bildebene 

m 2 Projektionspunkt rechte Bildebene 

mir rektifizierter Projektionspunkt linke Bildebene 

m 2r rektifizierter Projektionspunkt rechte Bildebene 

OC Optimierungskriterium 

OPV minimaler Zahlenwert 

PRC Pixelrekursion 

PSG Parameter Stereogeometrie 

SE1 erste Auswahleinheit 

SE2 zweite Auswahleinheit 

SE3 dritte Auswahleinheit 

SP Stereobildpaar 

T Transformierte 

T1V1 transformierte Videobilddaten linkes Videobild 

T2V2 transformierte Videobilddaten rechtes Videobild 

T3V1 transformierte Videobilddaten linkes Videobild 

T4V2 transformierte Videobilddaten rechtes Videobild 

V1 linkes Videobild 

V2 rechtes Videobild 
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Patentanspruche 

1. Verfahren zur Korrespondenzanalyse von Bildmerkmalen in korrespon- 
5 dierenden Videobildern in Echtzeit, das zur Bestimmung eines Korrespondenz- 
vektorfeldes von den digitalen Eingangsbilddaten unter Einbeziehung 
ausgewahlter Optimierungskriterien ausgeht und auf dem Hybridrekursions- 
verfahren basiert, das zur Ermittlung eines korrigierten Blockvektors als 
Korrespondenzvektor des jeweils aktuellen Pixels eine Blockrekursion mit einer 
^ 10 integrierten Pixelrekursion zur Blockvektorkorrektur umfasst, 
s dadurch gekennzeichnet, dass 



zur Ermittlung eines Disparitatsvektorfeldes als Korrespondenzvektorfeld die 
Eingangsbilddaten (ID) auf Basis der beiden Videobilder (V1, V2) eines 
Stereobildpaares (SP) generiert werden, das mittels eines Mehrkamera- 
15 systems mit beliebiger Stereogeometrie erzeugt wird, wobei die Bildmerkmale 
in den beiden Videobildern (V1, V2) des Stereobildpaares (SP) uber eine 
Ortsverschiebung abhangig von der Tiefe des zugehorigen Bildmerkmals im 
Raum miteinander korrespondieren, und dass in die Blockvektorkorrektur die 
Parameter der Stereogeometrie (PSG) zur Erfullung der Epipolarbedingung fur 
20 eine Anbindung des korrigierten Blockvektors (BVC) an die jeweilige 
/ Epipolarlinie der Stereogeometrie einbezogen sind (CPL, BVCC). 



2. Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet dass 
25 die Eingangsbilddaten (ID) als transformierte Aquivalente (T1V1, T2V2) aus - 
den beiden Videobildern (V1,V2) eines Stereobildpaares (SP) generiert 
werden. 




30 
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3, Verfahren nach Anspruch 2, 
dadurch gekennzeichnet, dass 

die transformierten Aquivalente durch Rektifikation des Stereobildpaares 
generiert werden. 



4. Verfahren nach einem der vorangehenden Anspruche 1 bis 3, 
dadurch gekennzeichnet, dass 

in der Blockrekursion (BRC) und in der integrierten Pixelrekursion (PRC) 
^} 10 unterschiedlich transformierte Aquivalente (T1V1 / T3V1, T2V2 / T4V2) eines 
) Stereobildpaares (SP) als Eingangsbilddaten (ID) bearbeitet werden. 

5. Verfahren nach einem der vorangehenden Anspruche 1 bis 4, 
dadurch gekennzeichnet, dass 

15 in der Blockrekursion (BRC) als Optimierungkriterium (OC) die Differenz 
verschobener Blocke (DBD) und in der Pixelrekursion (PRC) die Differenz 
verschobener Pixel (DPD) gewahlt ist. 



6. Verfahren nach einem der vorangehenden Anspruche 1 bis 5, 
20 dadurch gekennzeichnet, dass 

die Ermittlung des Disparitatsvektors des jeweils aktuellen Pixels durch eine 
Parametrisierung der Epipolarlinien der Stereogeometrie auf einen eindimen- 
sionalen Suchraum beschrankt ist. 

25 7. Verfahren nach einem der vorangehenden Anspruche 1 bis 6, 
dadurch gekennzeichnet, dass 

die Disparitatsanalyse auf die begrenzte Pixelanzahl eines geschlossenen 
Videoobjekts beschrankt ist. 



30 
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8. Verfahren nach einem der vorangehenden Anspruche 1 bis 7, 
dadurch gekennzeichnet, dass 

die einzelnen Blocke in der Blockrekursion richtungsunabhangig bearbeitet 
werden. 

9. Verfahren nach Anspruch 8, 
dadurch gekennzeichnet, dass 

die Blocke zuerst fur alle ungeraden oder geraden Bildzeilen bearbeitet werden 
und in aufeinander folgenden Bildzeilen die Bearbeitungsrichtung wechselt und 
in aufeinander folgenden Stereobildpaaren die Blockrekursion abwechselnd in 
der obersten oder untersten Bildzeile startet. 

10. Verfahren nach einem der vorangehenden Anspruche 1 bis 7, 
dadurch gekennzeichnet, dass 

eine rein horizontale oder rein vertikale Verarbeitung erfolgt. 
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Zusammenfassung 



Verfahren zur Disparitatsanalyse von Bildmerkmalen in korrespondieren- 
5 den Videobildern in Echtzeit 

Um realistische dreidimensionale Videoobjekte zu erhalten, wird eine Szene 
durch ein Stereokamerasystem aufgenommen und deren Videobilder einer 
Disparitatsanalyse unterzogen. Diese ermittelt fur jeden Pixel die Verschiebung 

10 zwischen einzelnen Bildmerkmalen und ermoglicht die Berechnung von 
Bewegungsparallaxe beim Betrachter. Dabei entspricht die GroSe der 
Verschiebung der Raumtiefe. Bekannte Verfahren schranken die moglichen 
Stereogeometrien jedoch stark ein. Ein Einsatz insbesondere in virtuellen 
Videokonferenzen mit hoher Teleprasenz ist nicht moglich. Fur die 

15 Bewegungsschatzung als Korrespondenzanalyse zwischen zeitlich aufeinander 
folgenden Videobildern ist das schnelle und einfache Hybridrekursiwerfahren 
bekannt, das die Vorteile von Blockrekursion (BRC) und Pixelrekursion (PRC) 
vereint. Bei dem auf diesem Verfahren basierenden erfindungsgemaBen 
Verfahren, das fur beliebige Stereogeometrien geeignet ist, ist vorgesehen, 

20 dass die Eingangsbilddaten (ID) fur die Blockrekursion (BRC) auf dem linken 
und dem rechten Videobild (V1, V2) eines Stereobildpaares (SP) basieren und 
in die Pixelrekursion (PRC) die Parameter der Stereogeometrie (PSG) zur 
Erfullung der Epipolarbedingung einflie&en. Verwendung findet das 
erfindungsgemafce Verfahren bei alien raumlichen Darstellungen ohne weitere 

25 Hilfsmittel mit Bewegungsparallaxe. 



Figur 1 



HHI 02/0101 DE 



SP 



T1V1 T2V2 - 



VL 



VR 



ID 



BRC - BV 
t 

OC(DBD) 

— - — 



OPV 



SE1 



min 



CV(BV.BVO) 



T3V1 



PRC-* BVC-> BVCC 
t t 

OC(DPD) CPL 




T4V2 PSG 



Fig.1 



US 1006604506P1 




Creation date: 09-10-2004 

Indexing Officer: BBROWN8 - BARBARA BROWN 

Team: OIPEBackFilelndexing 

Dossier: 10066045 



Legal Date: 03-18-2002 



No. 


Doccode 


Number of pages 


1 


LET. 


1 


2 


OATH 


4 



Total number of pages: 5 
Remarks: 



Order of re-scan issued on 



